แอนดี วอร์ฮอล หรือ แอนดรูว์ วาร์โฮลา จูเนียร์ (Andrew Varchola, Jr.) เกิดในวันที่ 6 สิงหาคม ค.ศ. 1928 ในเมืองพิตส์เบิร์ก (Pittsburgh) รัฐเพนซิลเวเนีย (Pennsylvania) ประเทศสหรัฐอเมริกา[1] เขามีเชื้อสายชาวสโลวัก หรือ สโวเกีย มีบิดาคือ นายอันเดรจ์ วาร์โฮลา (Ondrej Varchola) เป็นชาวสโลวักที่เกิดในรูธเนีย (Ruthenia) เมืองเล็กๆตรงแถบเชิงเขาคาร์ปาเธียน (Carpathian) ตรงชายแดนรอยต่อระหว่างสโลวักและยูเครน พ่อของแอนดีอพยพเข้ามาอยู่ในสหรัฐอเมริกา ตั้งแต่ปี 1912 เนื่องจากความขัดสน เขามีความฝันเช่นเดียวกับชาวยุโรปคนอื่นๆที่ต้องการอพยพเข้าสู่แผ่นดินแดนแห่งโลกใหม่ (New World) หรือ สหรัฐอเมริกา ก็เพื่อแสวงหาโชคลาภและโอกาส ส่วนมารดาคือ จูเลีย (Júlia) เธออพยพติดตามเข้ามาหลังจากที่อันเดรจ์เดินทางมาแล้วจากนั้นอีก 9 ปี ทั้งสองแต่งงานกันก่อนที่จะเดินทางอพยพกันมาที่สหรัฐอเมริกา พวกเขามีลูกชายด้วยกัน 3 คน แอนดีเป็นลูกคนสุดท้อง เขามีพี่ชายชื่อว่า พอล (Paul) และจอห์น (John)[2][3][4] พ่อของแอนดีทำงานหลายอย่างตั้งแต่ช่างก่อสร้าง คนงานเหมืองถ่านหิน คนงานโรงงานผลิตรถยนต์ แม้กระทั่งเป็นคนงานในโรงถลุงเหล็ก เขาตระเวนย้ายงานไปหลายเมืองตามแต่ที่จะหางานได้ เพื่อให้ได้รายได้เพิ่มพูนมากขึ้น ดังนั้นจึงไม่ค่อยมีเวลาอยู่กับครอบครัวมากนัก ส่วนแม่ของเขานั้นมีฝีมือทางด้านประดิษฐ์งานหัตถศิลป์ เป็นช่างประดิษฐ์งานฝีมือทำของชนพื้นเมืองท้องถิ่นทางสโลวักขายเป็นรายได้เสริมอีกทาง แม่ของเขาจึงรับหน้าที่ดูแลลูกอยู่เพียงลำพังเสมอๆ จนดูคล้ายกับว่าครอบครัววาร์โฮลานั้นมีกันเพียง 4 คนแม่ลูกเท่านั้น

เมื่อแอนดีอายุได้ 6 ขวบ ในปี 1936 นั้น แอนดี ก็ป่วยด้วยโรคติดเชื้อที่ไขสันหลัง ส่งผลให้เกิดอาการทางระบบประสาทที่คนไทยเรียกว่า "สันนิบาตลูกนก" ซึ่งมีอาการทำให้ร่างกายบิดเบี้ยวผิดรูปร่างและผิวหนังซีดเผือดเนื่องจากความผิดปรกติของการผลิตเลือด ทำให้แอนดีต้องนอนพักรักษาตัวอยู่แต่บนเตียงนอนเป็นเวลากว่า 10 สัปดาห์และทานอะไรไม่ได้เลยนอกจากข้าวเหลวๆและช็อกโกแลตทำให้ร่างกายของเขาผ่ายผอมมาตั้งแต่เด็ก ตลอดช่วงเวลาที่นอนป่วยอยู่แต่บนเตียงนี้ แอนดีต้องฆ่าเวลาด้วยการอ่านหนังสือ ในช่วงนี้เองที่แอนดีเริ่มอ่านการ์ตูนซึ่งมากขึ้นๆเรื่อยๆจนกลายเป็นการสะสมซึ่งเขาก็เริ่มชอบมาตั้งแต่นั้น ภายหลังจากหายป่วย เมื่อกลับไปเรียนต่อที่โรงเรียนในปี 1937 ครูของแอนดีก็ได้แนะนำให้เขาบำบัดสุขภาพด้วยการทำงานศิลปะ ต่อมาครูของแอนดีก็ได้แนะนำให้เขาสมัครเข้าเรียนพิเศษในวิชาศิลปะที่คาร์เนกีมิวเซียม (Carnegie Museum) ในวันหยุดสุดสัปดาห์ แอนดีเรียนในระดับไฮสคูลที่เชนลี ไฮ (Schenley High) ในพิตส์เบิร์ก และเมื่ออายุได้ 14 ปี พ่อของเขาก็เสียชีวิตลงในปี 1942 พ่อของแอนดีป่วยด้วยโรคถุงน้ำดีอักเสบเนื่องจากการดื่มเหล้าจัดซึ่งป่วยติดต่อกันมาเป็นเวลา 3 ปีแล้ว ก่อนที่จะเสียชีวิตพ่อของแอนดีทำงานหนักและสุขภาพไม่ค่อยดี อันเป็นผลสืบเนื่องมาถึงลูกๆเป็นกรรมพันธุ์ด้วย โดยเฉพาะกับแอนดีที่มีสุขภาพไม่ค่อยแข็งแรงมาตั้งแต่เด็ก

ในช่วงที่แอนดีศึกษาอยู่ไฮสคูลนั้น เขาก็คอยช่วยครอบครัวด้วยการทำงานพิเศษ แอนดีเคยรับจ้างทำงานให้กับร้านขายของและยังช่วยจัดตกแต่งการวางสินค้าและหน้าร้านซึ่งบางทีเขาก็ช่วยแม่นำงานประดิษฐ์ออกไปขายที่ร้านด้วยเช่นกัน และในปี 1945 นั้น แอนดีก็จบการศึกษาในระดับไฮสคูล แอนดีเข้าเรียนต่อที่สถาบันเทคโนโลยีคาร์เนกี (Carnegie Institute of Technology) ในพิตส์เบิร์กซึ่งในปัจจุบันนี้เปลี่ยนชื่อเป็นมหาวิทยาลัยคาร์เนกีเมลลอน (Carnegie Mellon University) ไปแล้ว แอนดีเลือกเรียนสาขาวิชาจิตรกรรมและการออกแบบที่สถาบันแห่งนี้ ซึ่งเป็นสถาบันเดียวกับศิลปินที่มีชื่อของสหรัฐอเมริกาอีกหลายคน เช่น บัลคอมบ์ กรีน (Balcomb Greene), โรเบิร์ต เลปเปอร์ (Rorbert Lepper), ซามูเอล โรเซนเบิร์ก(Samule Rosenberg) และโฮเวิร์ด วอร์เนอร์ (Howard Worner)

ในช่วงระหว่างการศึกษานี้อีกเช่นกันที่แอนดีก็ยังคงช่วยหารายได้เข้าครอบครัว ด้วยการออกไปทำงานที่ร้านขายสินค้าชำของ โจเซฟ ฮอร์น(Joseph Horne) ในเมืองและช่วงนี้เองที่แอนดีเริ่มมีฝีมือในการวาดภาพบ้างแล้ว เขาได้ลองออกแบบการ์ดอวยพรออกวางขายที่ร้านและยังได้วาดภาพแบบพอร์เทรต (Portrait) หรือภาพเหมือนบุคคลต่างๆ โดยเริ่มต้นจากบุคคลใกล้ตัวก่อนโดยเฉพาะเพื่อนสนิทของเขา โดยเขามักจะวาดภาพของเพื่อนมอบให้ไปติดที่บ้านเสมอๆ และในช่วงปีสุดท้ายของการศึกษาในมหาวิทยาลัย เขาก็ได้รับหน้าที่ให้เป็นบรรณาธิการฝ่ายภาพของนิตยสารประจำมหาวิทยาลัยชื่อ “คาโร (Caro)” ซึ่งนับเป็นการทำงานอย่างเป็นเรื่องเป็นราวเป็นครั้งแรกของเขานั้นเอง